2021-09-15
使用超越欧几里德距离的神经网络，深入的Bregman分歧测量数据点的分歧，并且能够捕获分布的发散。在本文中，我们提出了深深的布利曼对视觉表现的对比学习的分歧，我们的目标是通过基于功能Bregman分歧培训额外的网络来提高自我监督学习中使用的对比损失。与完全基于单点之间的分歧的传统对比学学习方法相比，我们的框架可以捕获分布之间的发散，这提高了学习表示的质量。我们展示了传统的对比损失和我们提出的分歧损失优于基线的结合，并且最先前的自我监督和半监督学习的大多数方法在多个分类和对象检测任务和数据集中。此外，学习的陈述在转移到其他数据集和任务时概括了良好。源代码和我们的型号可用于补充，并将通过纸张释放。
translated by 谷歌翻译
基于深度学习的图生成方法具有显着的图形数据建模能力，从而使它们能够解决广泛的现实世界问题。使这些方法能够在生成过程中考虑不同的条件，甚至通过授权它们生成满足所需标准的新图形样本来提高其有效性。本文提出了一种条件深图生成方法，称为SCGG，该方法考虑了特定类型的结构条件。具体而言，我们提出的SCGG模型采用初始子图，并自动重新收获在给定条件子结构之上生成新节点及其相应的边缘。 SCGG的体系结构由图表表示网络和自动回归生成模型组成，该模型是端到端训练的。使用此模型，我们可以解决图形完成，这是恢复缺失的节点及其相关的部分观察图的猖and固有的困难问题。合成数据集和现实世界数据集的实验结果证明了我们方法的优势与最先进的基准相比。
translated by 谷歌翻译
本文提议使用修改的完全连接层转移初始化，以进行1900诊断。卷积神经网络（CNN）在图像分类中取得了显着的结果。但是，由于图像识别应用程序的复杂性，培训高性能模型是一个非常复杂且耗时的过程。另一方面，转移学习是一种相对较新的学习方法，已在许多领域使用，以减少计算来实现良好的性能。在这项研究中，Pytorch预训练的模型（VGG19 \ _bn和WideresNet -101）首次在MNIST数据集中应用于初始化，并具有修改的完全连接的层。先前在Imagenet中对使用的Pytorch预培训模型进行了培训。提出的模型在Kaggle笔记本电脑中得到了开发和验证，并且在网络培训过程中没有花费巨大的计算时间，达到了99.77％的出色精度。我们还将相同的方法应用于SIIM-FISABIO-RSNA COVID-19检测数据集，并达到80.01％的精度。相比之下，以前的方法在训练过程中需要大量的压缩时间才能达到高性能模型。代码可在以下链接上找到：github.com/dipuk0506/spinalnet
translated by 谷歌翻译
尽管大量研究专门用于变形检测，但大多数研究都无法推广其在训练范式之外的变形面。此外，最近的变体检测方法非常容易受到对抗攻击的影响。在本文中，我们打算学习一个具有高概括的变体检测模型，以对各种形态攻击和对不同的对抗攻击的高度鲁棒性。为此，我们开发了卷积神经网络（CNN）和变压器模型的合奏，以同时受益于其能力。为了提高整体模型的鲁棒精度，我们采用多扰动对抗训练，并生成具有高可传递性的对抗性示例。我们详尽的评估表明，提出的强大合奏模型将概括为几个变形攻击和面部数据集。此外，我们验证了我们的稳健集成模型在超过最先进的研究的同时，对几次对抗性攻击获得了更好的鲁棒性。
translated by 谷歌翻译
在本文中，我们试图在抽象嵌入空间中绘制额叶和轮廓面图像之间的连接。我们使用耦合编码器网络利用此连接将额叶/配置文件的面部图像投影到一个常见的潜在嵌入空间中。提出的模型通过最大化面部两种视图之间的相互信息来迫使嵌入空间中表示的相似性。拟议的耦合编码器从三个贡献中受益于与极端姿势差异的匹配面。首先，我们利用我们的姿势意识到的对比学习来最大程度地提高身份额叶和概况表示之间的相互信息。其次，由在过去的迭代中积累的潜在表示组成的内存缓冲区已集成到模型中，因此它可以比小批量大小相对较多的实例。第三，一种新颖的姿势感知的对抗结构域适应方法迫使模型学习从轮廓到额叶表示的不对称映射。在我们的框架中，耦合编码器学会了扩大真实面孔和冒名顶替面部分布之间的边距，这导致了相同身份的不同观点之间的高度相互信息。通过对四个基准数据集的广泛实验，评估和消融研究来研究拟议模型的有效性，并与引人入胜的最新算法进行比较。
translated by 谷歌翻译
尽管对抗性和自然训练（AT和NT）之间有基本的区别，但在方法中，通常采用动量SGD（MSGD）进行外部优化。本文旨在通过研究AT中外部优化的忽视作用来分析此选择。我们的探索性评估表明，与NT相比，在诱导较高的梯度规范和方差。由于MSGD的收敛速率高度取决于梯度的方差，因此这种现象阻碍了AT的外部优化。为此，我们提出了一种称为ENGM的优化方法，该方法将每个输入示例对平均微型批次梯度的贡献进行正规化。我们证明ENGM的收敛速率与梯度的方差无关，因此适合AT。我们介绍了一种技巧，可以使用有关梯度范围W.R.T.规范的相关性的经验观察来降低ENGM的计算成本。网络参数和输入示例。我们对CIFAR-10，CIFAR-100和Tinyimagenet的广泛评估和消融研究表明，Engm及其变体一致地改善了广泛的AT方法的性能。此外，Engm减轻了AT的主要缺点，包括强大的过度拟合和对超参数设置的敏感性。
translated by 谷歌翻译
随着面部生物识别技术的广泛采用，在自动面部识别（FR）应用中区分相同的双胞胎和非双胞胎外观相似的问题变得越来越重要。由于同卵双胞胎和外观相似的面部相似性很高，因此这些面对对面部识别工具表示最困难的病例。这项工作介绍了迄今为止汇编的最大的双胞胎数据集之一，以应对两个挑战：1）确定相同双胞胎和2）的面部相似性的基线度量和2）应用此相似性措施来确定多ppelgangers的影响或外观 - Alikes，关于大面部数据集的FR性能。面部相似性度量是通过深度卷积神经网络确定的。该网络经过量身定制的验证任务进行培训，旨在鼓励网络在嵌入空间中将高度相似的面对对组合在一起，并达到0.9799的测试AUC。所提出的网络为任何两个给定的面提供了定量相似性评分，并已应用于大规模面部数据集以识别相似的面对对。还执行了一个附加分析，该分析还将面部识别工具返回的比较分数以及提议网络返回的相似性分数。
translated by 谷歌翻译
资源分配是规划建筑项目的最关键问题之一，因为它对成本，时间和质量的直接影响。根据项目目标，通常有特定的分配方法用于自动资源管理。但是，在整个建筑组织中利用资源的综合计划和优化是稀缺的。这项研究的目的是为建筑公司提供自动资源分配结构，以深入强化学习（DRL），可在各种情况下使用。在这种结构中，数据收集（DH）收集了分布式物联网（IoT）传感器设备的资源信息，这些传感器设备将在自主资源管理方法中采用的各个公司项目中。然后，将覆盖资源分配（CRA）与从DH获得的信息进行比较，其中自动资源管理（ARM）确定了感兴趣的项目。同样，具有类似模型的双重Q-NETWORKS（DDQN）在基于公司的结构化资源信息的两种不同的分配情况下进行了培训，以平衡目标与资源约束。本文中建议的技术可以通过将投资组合信息与采用的单个项目信息相结合来有效地适应大型资源管理系统。此外，详细分析了重要信息处理参数对资源分配绩效的影响。此外，提出了管理方法的普遍性结果，这表明当情况变量发生变化时，不需要额外的培训。
translated by 谷歌翻译
同工型是从同一基因位点产生的MRNA，称为替代剪接。研究表明，超过95％的人类多外XEX基因经历了替代剪接。尽管mRNA序列的变化很少，但它们可能会对细胞功能和调节产生系统的影响。广泛报道了基因的同工型具有不同甚至对比的功能。大多数研究表明，替代剪接在人类健康和疾病中起着重要作用。尽管具有广泛的基因功能研究，但关于同工型功能的信息很少。最近，已经提出了一些基于多个实例学习的计算方法，用于使用基因函数和基因表达谱预测同工型函数。但是，由于缺乏标记的培训数据，他们的性能并不理想。另外，概率模型（例如条件随机场（CRF））已被用于建模同工型之间的关系。该项目使用所有数据和有价值的信息，例如同工型序列，表达曲线和基因本体论图，并提出了基于深神经网络的综合模型。 Uniprot基因本体论（GO）数据库用作基因函数的标准参考。 NCBI REFSEQ数据库用于提取基因和同工型序列，NCBI SRA数据库用于表达式配置文件数据。曲线下（ROC AUC）下的接收器操作特征区域和曲线下的Precision-Recall等指标用于测量预测准确性。
translated by 谷歌翻译
在插值方面，我们为平滑损失（可能是非lipschitz，可能是非convex）提供了急剧依赖路径依赖的概括和多余的风险保证。我们分析的核心是确定性对称算法绑定的新的概括误差，这意味着平均输出稳定性和终止时有界的预期优化误差导致概括。该结果表明，沿着优化路径发生小的概括误差，并使我们能够绕过Lipschitz或以前作品中普遍存在的损失的假设。对于非convex，polyak-lojasiewicz（PL），凸面和强烈凸丢失，我们在累积的路径依赖性优化误差，终端优化误差，样本数量和迭代数方面显示了概括误差的明确依赖性。 For nonconvex smooth losses, we prove that full-batch GD efficiently generalizes close to any stationary point at termination, under the proper choice of a decreasing step size.此外，如果损失是非convex但目标是PL，我们将在概括误差和相应的多余风险上四次消失，以选择大型常数步长大小。对于（分别 - 强 - ）凸平的平滑损失，我们证明，全批GD还概括了较大的恒定步骤尺寸，并且在快速训练的同时，（分别是四次）的多余风险。在所有情况下，我们通过显示匹配的概括和优化错误率来缩小概括误差差距。当损失平稳时（但可能是非lipschitz）时，我们的全批GD概括误差和多余的风险界限严格比（随机）GD的现有范围更紧密。
translated by 谷歌翻译